Theo từ ngữ toán học, chúng ta muốn tìm nghiệm của "phương trình"

A x ≈ b {\displaystyle A\mathbf {x} \approx \mathbf {b} } ,

với A là một ma trận cỡ m-nhân-n (với m > n) và x và b theo thứ tự đó là vectơ cột với n- và m-hàng. Một cách chính xác hơn, ta muốn làm tối thiểu chuẩn Euclidean bình phương của phần dư Ax − b, nghĩa là, đại lượng

‖ A x − b ‖ 2 = ( [ A x ] 1 − b 1 ) 2 + ( [ A x ] 2 − b 2 ) 2 + ⋯ + ( [ A x ] m − b m ) 2 , {\displaystyle \|A\mathbf {x} -\mathbf {b} \|^{2}=\left([A\mathbf {x} ]_{1}-\mathbf {b} _{1}\right)^{2}+\left([A\mathbf {x} ]_{2}-\mathbf {b} _{2}\right)^{2}+\dots +\left([A\mathbf {x} ]_{m}-\mathbf {b} _{m}\right)^{2},}

với [Ax]i ký hiệu phần tử thứ i của vectơ Ax. Do đó mà có cái tên "bình phương tối thiểu".

Sử dụng sự kiện bình phương chuẩn của v là vTv, với vT ký hiệu cho ma trận chuyển của v, ta viết lại biểu thức trên như là

( A x − b ) T ( A x − b ) = ( A x ) T ( A x ) − b T A x − ( A x ) T b + b T b . {\displaystyle (A\mathbf {x} -\mathbf {b} )^{T}(A\mathbf {x} -\mathbf {b} )=(A\mathbf {x} )^{T}(A\mathbf {x} )-\mathbf {b} ^{T}A\mathbf {x} -(A\mathbf {x} )^{T}\mathbf {b} +\mathbf {b} ^{T}\mathbf {b} .}

Hai hạng tử ở giữa là như nhau, do đó giá trị tối thiểu có thể được tìm tại zero của đạo hàm theo biến x,

2 A T A x − 2 A T b = 0 . {\displaystyle 2A^{T}A\mathbf {x} -2A^{T}\mathbf {b} =\mathbf {0} .}

Do vậy là tối thiểu x là nghiệm của phương trình normal sau đây

A T A x = A T b . {\displaystyle A^{T}\!A\mathbf {x} =A^{T}\mathbf {b} .}

Để ý rằng điều này tương đương với một hệ phương trình tuyến tính. Ma trận ATA ở phía bên trái là một ma trận vuông, và khả nghịch nếu như A có đầy rank theo cột (nghĩa là, nếu như rank của A là n). Trong trường hợp đó, nghiệm của hệ phương trình tuyến tính là duy nhất và được cho bởi

x = ( A T A ) − 1 A T b . {\displaystyle \mathbf {x} =(A^{T}\!A)^{-1}A^{T}\mathbf {b} .}

Ma trận ( A T A ) − 1 A T {\displaystyle (A^{T}A)^{-1}A^{T}} gọi là ma trận giả nghịch đảo của A. Chúng ta không thể sử dụng ma trận nghịch đảo thật sự của A (nghĩa là, A − 1 {\displaystyle A^{-1}} ), vì nó không tồn tại do A không phải là một ma trận vuông (m ≠ n).